Deep learning analysis of eye fundus images to support medical diagnosis

Machine learning techniques have been successfully applied to support medical decision making of cancer, heart diseases and degenerative diseases of the brain. In particular, deep learning methods have been used for early detection of abnormalities in the eye that could improve the diagnosis of different ocular diseases, especially in developing countries, where there are major limitations to access to specialized medical treatment. However, the early detection of clinical signs such as blood vessel, optic disc alterations, exudates, hemorrhages, drusen, and microaneurysms presents three main challenges: the ocular images can be affected by noise artifact, the features of the clinical signs depend specifically on the acquisition source, and the combination of local signs and grading disease label is not an easy task. This research approaches the problem of combining local signs and global labels of different acquisition sources of medical information as a valuable tool to support medical decision making in ocular diseases. Different models for different eye diseases were developed. Four models were developed using eye fundus images: for DME, it was designed a two-stages model that uses a shallow model to predict an exudate binary mask. Then, the binary mask is stacked with the raw fundus image into a 4-channel array as an input of a deep convolutional neural network for diabetic macular edema diagnosis; for glaucoma, it was developed three deep learning models. First, it was defined a deep learning model based on three-stages that contains an initial stage for automatically segment two binary masks containing optic disc and physiological cup segmentation, followed by an automatic morphometric features extraction stage from previous segmentations, and a final classification stage that supports the glaucoma diagnosis with intermediate medical information. Two late-data-fusion methods that fused morphometric features from cartesian and polar segmentation of the optic disc and physiological cup with features extracted from raw eye fundus images. On the other hand, two models were defined using optical coherence tomography. First, a customized convolutional neural network termed as OCT-NET to extract features from OCT volumes to classify DME, DR-DME and AMD conditions. In addition, this model generates images with highlighted local information about the clinical signs, and it estimates the number of slides inside a volume with local abnormalities. Finally, a 3D-Deep learning model that uses OCT volumes as an input to estimate the retinal thickness map useful to grade AMD. The methods were systematically evaluated using ten free public datasets. The methods were compared and validated against other state-of-the-art algorithms and the results were also qualitatively evaluated by ophthalmology experts from Fundación Oftalmológica Nacional. In addition, the proposed methods were tested as a diagnosis support tool of diabetic macular edema, glaucoma, diabetic retinopathy and age-related macular degeneration using two different ocular imaging representations. Thus, we consider that this research could be potentially a big step in building telemedicine tools that could support medical personnel for detecting ocular diseases using eye fundus images and optical coherence tomography.Las técnicas de aprendizaje automático se han aplicado con éxito para apoyar la toma de decisiones médicas sobre el cáncer, las enfermedades cardíacas y las enfermedades degenerativas del cerebro. En particular, se han utilizado métodos de aprendizaje profundo para la detección temprana de anormalidades en el ojo que podrían mejorar el diagnóstico de diferentes enfermedades oculares, especialmente en países en desarrollo, donde existen grandes limitaciones para acceder a tratamiento médico especializado. Sin embargo, la detección temprana de signos clínicos como vasos sanguíneos, alteraciones del disco óptico, exudados, hemorragias, drusas y microaneurismas presenta tres desafíos principales: las imágenes oculares pueden verse afectadas por artefactos de ruido, las características de los signos clínicos dependen específicamente de fuente de adquisición, y la combinación de signos locales y clasificación de la enfermedad no es una tarea fácil. Esta investigación aborda el problema de combinar signos locales y etiquetas globales de diferentes fuentes de adquisición de información médica como una herramienta valiosa para apoyar la toma de decisiones médicas en enfermedades oculares. Se desarrollaron diferentes modelos para diferentes enfermedades oculares. Se desarrollaron cuatro modelos utilizando imágenes de fondo de ojo: para DME, se diseñó un modelo de dos etapas que utiliza un modelo superficial para predecir una máscara binaria de exudados. Luego, la máscara binaria se apila con la imagen de fondo de ojo original en una matriz de 4 canales como entrada de una red neuronal convolucional profunda para el diagnóstico de edema macular diabético; para el glaucoma, se desarrollaron tres modelos de aprendizaje profundo. Primero, se definió un modelo de aprendizaje profundo basado en tres etapas que contiene una etapa inicial para segmentar automáticamente dos máscaras binarias que contienen disco óptico y segmentación fisiológica de la copa, seguido de una etapa de extracción de características morfométricas automáticas de segmentaciones anteriores y una etapa de clasificación final que respalda el diagnóstico de glaucoma con información médica intermedia. Dos métodos de fusión de datos tardíos que fusionaron características morfométricas de la segmentación cartesiana y polar del disco óptico y la copa fisiológica con características extraídas de imágenes de fondo de ojo crudo. Por otro lado, se definieron dos modelos mediante tomografía de coherencia óptica. Primero, una red neuronal convolucional personalizada denominada OCT-NET para extraer características de los volúmenes OCT para clasificar las condiciones DME, DR-DME y AMD. Además, este modelo genera imágenes con información local resaltada sobre los signos clínicos, y estima el número de diapositivas dentro de un volumen con anomalías locales. Finalmente, un modelo de aprendizaje 3D-Deep que utiliza volúmenes OCT como entrada para estimar el mapa de espesor retiniano útil para calificar AMD. Los métodos se evaluaron sistemáticamente utilizando diez conjuntos de datos públicos gratuitos. Los métodos se compararon y validaron con otros algoritmos de vanguardia y los resultados también fueron evaluados cualitativamente por expertos en oftalmología de la Fundación Oftalmológica Nacional. Además, los métodos propuestos se probaron como una herramienta de diagnóstico de edema macular diabético, glaucoma, retinopatía diabética y degeneración macular relacionada con la edad utilizando dos representaciones de imágenes oculares diferentes. Por lo tanto, consideramos que esta investigación podría ser potencialmente un gran paso en la construcción de herramientas de telemedicina que podrían ayudar al personal médico a detectar enfermedades oculares utilizando imágenes de fondo de ojo y tomografía de coherencia óptica.Doctorad

Modelagem matemática e avaliação de novos parâmetros para estudo do efeito de fármacos na repolarização ventricular em indivíduos com diabetes

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2012.Esta pesquisa apresenta uma metodologia completa para a modelagem matemática de sinais de vetocardiogramas (VCG's) de individuos com diabetes ao longo de três estudos de caso: inalação de salbutamol, infusão de adrenalina e clampeamento de glicose. A abordagem propõe primeiramente a utilização de um modelo micro para compreender o comportamento individual das células ventriculares cardíacas: células do endocárdio, células M e células do epicárdio. Analisou-se o comportamento conjunto dos três tipos de células através do ECG transmural, o qual foi gerado pela soma ponderada dos potenciais de ação característicos dos três tipos células ventriculares. Além disso, procedeu-se a análise estatística das variáveis fisiológicas medidas nos pacientes durante os três estudos de caso, obtendo um novo parâmetro Latent Adrenaline Unit (LAU), que representa a razão da mudança da freqüência cardíaca com respeito à concentração do potássio extracelular, a qual é uma resposta qualitativamente descrita na literatura. A relação matemática do parâmetro LAU ajuda na avaliação quantitativa das diferentes mudanças durante infusão de adrenalina na freqüência cardíaca e o potássio extracelular, relacionados com a diabetes, assim como o estabelecimento de diferenças estatisticamente significativas entre os três tipos de neuropatias em indivíduos com diabetes: Não Neuropatia, Neuropatia Subclínica e Neuropatia Estabelecida. Finalmente, propõe-se uma análise matemática dos sinais obtidos nos três estudos de caso no domínio da freqüência, mediante a soma de ondas senos e cossenos com diferentes freqüências de oscilação, fase e amplitude. Foram analisadas todas as 12 derivações do ECG, calculadas a partir dos VCG#s com o uso da transformada de Dower. Desta forma foi escolhida a derivação II porque representava a melhor sensibilidade às mudanças na repolarização ventricular ou onda T. Dois modelos matemáticos macros de ajuste de curvas foram aplicados na repolarização ventricular da derivação II do ECG, o primeiro com 18 variáveis (soma de senos) e o segundo modelo com 12 parâmetros (séries de Fourier). Com esses modelos matemáticos surgiram formas alternativas para representar e avaliar as alterações na morfologia da repolarização ventricular em individuos com diabetes sob efeito de fármacos.Abstract : This research presents a complete methodology for the mathematical modeling of vetocardiogramas signals (VCG's) of individuals with diabetes through three case studies: inhalation of salbutamol, adrenaline infusion and glicose clamping. The first approach proposes the use of a micro model to understand the behavior of individual cardiac ventricular cells: cells of the endocardium, M cells and epicardial cells. It was analyzed the behavior of all three cell types by transmural ECG, which was generated by the weighted sum of action potentials of the three ventricular cells. Furthermore, we proceeded to the statistical analysis of physiological measures in patients during the three case studies, obtaining a new parameter Latent Adrenaline Unit (LAU), which represents the ratio of change in heart rate with respect to the concentration of extracellular potassium, which is a response qualitatively described. The mathematical relationship LAU parameter helps in quantitative evaluation of the different changes during adrenaline infusion on heart rate and extracellular potassium, related to diabetes, as well as the establishment of statistically significant differences between the three types of neuropathy in patients with diabetes: Not Neuropathy, Subclinical Neuropathy and Established Neuropathy. Finally, it was proposed a mathematical analysis of the signals obtained in the three case studies in the frequency domain, using the sum of sine and cosine waves with different frequencies of oscillation, phase and amplitude. It was analyzed all 12-lead ECG, calculated from VCG's by using the transform Dower. Thus, the lead II was chosen because it represented the best sensitivity to changes in ventricular repolarization or T-wave. Two macro mathematical models of fitting curves were applied on ventricular repolarization of the lead II of ECG, the first model with 18 variables (sum of sines) and the second model with 12 parameters (Fourier series). With these mathematical models were found alternative ways to represent and evaluate the alterations in the morphology of ventricular repolarization in subjects with diabetes under the influence of drugs

Breathing and temperature detection using thermal images in infants

Sudden Infant Death Syndrome (SIDS) is one of the leading causes of death in children under one year of age. SIDS is defined as the death of a child under one year of age, without apparent symptoms or causes during sleep that lead to his death. Therefore, monitoring of childhood sleep has become vital for parents, health care providers and health educators during the perinatal period. Temperature and respiration are the parameters most used during neonatal and postnatal consultations as an indicator of events related to the SIDS. This document proposes a method of non-invasive detection of temperature and breathing, based on the automatic detection of areas of the forehead, nose and mouth of the infant, calculating statistical measures and pixel-temperature conversion of thermal images. The proposed method used 7.189 thermal images of 6 infants during sleep, obtaining a general accuracy of 88,26% in temperature and breathing detection into three different classes.El Síndrome Infantil de Muerte Súbita (SIMS) es una de las primeras causas de muerte en niños menores de un año. SIMS se define como la muerte de un niño menor de un año, sin aparente síntomas o causas durante el sueño que conllevan a su muerte. Por lo tanto, el monitoreo del sueño infantil se ha convertido en algo vital para los padres, los proveedores de atención médica y los educadores de salud durante el período perinatal. La temperatura y la respiración son los parámetros más usados durante las consultas neonatales y postnatales como indicador de eventos relacionados con el SIMS. En este documento se propone un método de detección no invasiva de temperatura y respiración, basado en la detección automática de zonas de la frente, nariz y boca del menor, cálculo de medidas estadísticas y conversión pixel - temperatura de imágenes térmicas. El método propuesto utilizó 7.189 imágenes térmicas de 6 menores durante el sueño, obteniendo una precisión general de 88.26% en la detección de temperatura y respiración en tres diferentes clases

Protocol for the synthesis of carbon dots with fluorescent properties for the detection of L-lactate in aqueous solution

Los puntos de carbono (PC) son nanopartículas que poseen propiedades ópticas y fisicoquimicas que llaman la atención para su uso en aplicaciones biomédicas. Un ejemplo de esto es el desarrollo de biosensores ópticos, en donde la respuesta de intensidad de emisión o absorción varia en funci´on de la concentración de un analito especifico. El proyecto “Método alternativo para la detección de L-lactato en solución acuosa basado en la fluorescencia de los puntos de carbono” plantea el desarrollo de un biosensor para identificar la presencia de L-lactato a partir de las propiedades ópticas de los PC. El presente protocolo describe el proceso de síntesis de PC con propiedades fluorescentes para la detección en solución acuosa de L-lactato. Inicialmente se explica la síntesis de las nanopartículas por método solvotermal y posteriormente, se presenta la caracterización de sus propiedades ópticas en presencia de los diferentes analitos (Peróxido de hidrógeno y L-lactato,). Los resultados obtenidos a partir del desarrollo del procedimiento confirman la asociación de la variación de intensidad de fluorescencia de los PC con la concentración de los analitos presentes en la detección de L-lactato.Carbon dots (CPs) are nanoparticles that possess optical and physicochemical properties that attract attention for use in biomedical applications. An example of this is the development of optical biosensors, where the emission or absorption intensity response varies as a function of the concentration of a specific analyte. The project "Alternative method for the detection of L-lactate in aqueous solution based on the fluorescence of carbon dots" proposes the development of a biosensor to identify the presence of L-lactate from the optical properties of PCs. The present protocol describes the process of synthesis of PCs with fluorescent properties for the detection of L-lactate in aqueous solution. Initially, the synthesis of the nanoparticles by solvothermal method is explained and subsequently, the characterization of their optical properties in the presence of the different analytes (hydrogen peroxide and L-lactate) is presented. The results obtained from the development of the procedure confirm the association of the variation of the fluorescence intensity of the PCs with the concentration of the analytes present in the detection of L-lactate

SOPHIA: System for Ophthalmic Image Acquisition, Transmission, and Intelligent Analysis

Ocular diseases are one of the main causes of irreversible disability in people in productive age. In 2020, approximately 18% of the worldwide population was estimated to suffer of diabetic retinopathy and diabetic macular edema, but, unfortunately, only half of these people were correctly diagnosed. On the other hand, in Colombia, the diabetic population (8% of the country’s total population) presents or has presented some ocular complication that has led to other associated costs and, in some cases, has caused vision limitation or blindness. Eye fundus images are the fastest and most economical source of ocular information that can provide a full clinical assessment of the retinal condition of patients. However, the number of ophthalmologists is insufficient and the clinical settings, as well as the attention of these experts, are limited to urban areas. Also, the analysis of said images by professionals requires extensive training, and even for experienced ones, it is a cumbersome and error-prone process. Deep learning methods have marked important breakthroughs in medical imaging due to outstanding performance in segmentation, detection, and disease classification tasks. This article presents SOPHIA, a deep learning-based system for ophthalmic image acquisition, transmission, intelligent analysis, and clinical decision support for the diagnosis of ocular diseases. The system is under active development in a project that brings together healthcare provider institutions, ophthalmology specialists, and computer scientists. Finally, the preliminary results in the automatic analysis of ocular images using deep learning are presented, as well as future work necessary for the implementation and validation of the system in Colombia.Las enfermedades oculares son una de las principales causas de incapacidad irreversible en personas en edad productiva. En 2020, la población mundial con retinopatía diabética y edema macular diabético está estimada como el 18% de la población mundial, aproximadamente, desafortunadamente, solo la mitad de estas personas fueron diagnosticadas correctamente. Por otro lado, en Colombia, la población diabética (8% de la población total del país) presenta o ha presentado alguna complicación ocular que ha llevado a otros costos asociados y, en algunos casos, ha provocado limitación de la visión o ceguera. Las imágenes de fondo de ojo son la fuente de información ocular más rápida y económica que puede proveer una valoración clínica del estado de la retina de los pacientes. Sin embargo, el número de oftalmólogos es insuficiente, la atención de estos expertos está limitada a zonas urbanas, y el análisis de dichas imágenes por parte de profesionales requiere una amplia formación; incluso para los más experimentados, es un proceso engorroso y propenso a errores. Los métodos de aprendizaje profundo han marcado avances importantes en imágenes médicas debido al desempeño sobresaliente en tareas de segmentación, detección y clasificación de enfermedades. Este artículo presenta SOPHIA, un sistema basado en el aprendizaje profundo para la adquisición, transmisión, análisis inteligente y soporte de decisiones clínicas para el diagnóstico de enfermedades oculares. El sistema se encuentra en desarrollo activo en un proyecto que reúne a instituciones proveedoras de salud, especialistas en oftalmología e informáticos. Finalmente, los resultados preliminares en el análisis automático de imágenes oculares utilizando el aprendizaje profundo son presentados, y se discute el trabajo futuro necesario para la implementación y validación del sistema en Colombia

SOPHIA: Sistema para adquisición, transmisión, y análisis inteligente de imágenes oftálmicas

Ocular diseases are one of the main causes of irreversible disability in people in productive age. In 2020, approximately 18% of the worldwide population was estimated to suffer of diabetic retinopathy and diabetic macular edema, but, unfortunately, only half of these people were correctly diagnosed. On the other hand, in Colombia, the diabetic population (8% of the country’s total population) presents or has presented some ocular complication that has led to other associated costs and, in some cases, has caused vision limitation or blindness. Eye fundus images are the fastest and most economical source of ocular information that can provide a full clinical assessment of the retinal condition of patients. However, the number of ophthalmologists is insufficient and the clinical settings, as well as the attention of these experts, are limited to urban areas. Also, the analysis of said images by professionals requires extensive training, and even for experienced ones, it is a cumbersome and error-prone process. Deep learning methods have marked important breakthroughs in medical imaging due to outstanding performance in segmentation, detection, and disease classification tasks. This article presents SOPHIA, a deep learning-based system for ophthalmic image acquisition, transmission, intelligent analysis, and clinical decision support for the diagnosis of ocular diseases. The system is under active development in a project that brings together healthcare provider institutions, ophthalmology specialists, and computer scientists. Finally, the preliminary results in the automatic analysis of ocular images using deep learning are presented, as well as future work necessary for the implementation and validation of the system in Colombia. Vol. 9 Núm. 10 (2020): Pedagogía del deseo de saber y conocer.Las enfermedades oculares son una de las principales causas de discapacidad irreversible en personas en edad productiva. En el año 2020, se estima que aproximadamente el 18% de la población mundial padece retinopatía diabética y edema macular diabético, pero, desafortunadamente, sólo la mitad de estas personas están correctamente diagnosticadas. Por otro lado, en Colombia, la población diabética (8% de la población total del país) presenta o ha presentado alguna complicación ocular que ha llevado a otros costos asociados y, en algunos casos, ha causado limitación de la visión o ceguera. Las imágenes del fondo de ojo son la fuente de información ocular más rápida y económica que puede proporcionar una evaluación clínica completa del estado de la retina de los pacientes. Sin embargo, el número de oftalmólogos es insuficiente y los entornos clínicos, así como la atención de estos expertos, se limitan a las zonas urbanas. Además, el análisis de dichas imágenes por parte de los profesionales requiere una amplia formación, e incluso para los experimentados, es un proceso engorroso y propenso a errores. Los métodos de aprendizaje profundo han supuesto un importante avance en el campo de las imágenes médicas debido a su excelente rendimiento en tareas de segmentación, detección y clasificación de enfermedades. Este artículo presenta SOPHIA, un sistema basado en el aprendizaje profundo para la adquisición de imágenes oftálmicas, la transmisión, el análisis inteligente y el apoyo a la decisión clínica para el diagnóstico de enfermedades oculares. El sistema está en desarrollo activo en un proyecto que reúne a instituciones proveedoras de servicios de salud, especialistas en oftalmología e informáticos. Finalmente, se presentan los resultados preliminares en el análisis automático de imágenes oculares utilizando deep learning, así como los trabajos futuros necesarios para la implementación y validación del sistema en Colombia. Vol. 9 Núm. 10 (2020): Pedagogía del deseo de saber y conocer.Citation: O.-J. Perdomo-Charry, A.-D. Pérez, M. de-la-Pava-Rodríguez, H.-A. Ríos-Calixto, V.-A. Arias-Vanegas, J.-S. Lara-Ramírez, S. Toledo-Cortés, J.-E. Camargo-Mendoza, F.-J. Rodríguez-Alvira, F.-A. González-Osorio, “SOPHIA: System for Ophthalmic Image Acquisition, Transmission, and Intelligent Analysis,” Revista Facultad de Ingeniería, vol. 29 (54), e11769, 2020. https://doi.org/10.19053/01211129.v29.n54.2020.1176